Deep Network Embedding on Incomplete Graphs

简介

论文传送门

这份工作第一次研究在不完全网络上的网络嵌入问题。作者认为节点属性编码了与网络拓扑不同类型但是高度相关的信息，将这两者整合到一个统一的学习框架可预期得到更好的表现。从一个视图进行跨视图学习所捕获的一致性能够补全或者完善另一个视图的特征。

作者提出基于深度网络嵌入方法的多视图相关性学习，称作MVC-DNE。作者认为学得的表示向量应该反映出两个视图的特质。作者先使用深度自动编码器获得单个视图的隐表示。接着作者设计了两种不同的框架，分别在编码阶段和解码阶段来学习多个视图之间的关联。除了由深度自动编码器实现的在每一视图中的自我视图学习，该方法还考虑将一个视图的特征作为标签来引导另一视图的编码过程。另外，该方法对于新节点可以直接产生其表示向量。

方法

$MVC-DNE_{DB}$

因为网络结构视图 $T$ 中的特征和节点性质视图 $P$ 是高度关联的，一个视图的输入特征可能编码进去了一些由另一视图输入所反映的共享的隐信息。所以，该框架通过重建另一个视图特征来捕捉一致性。

损失函数如下：

$$\begin{aligned} L_{D B}(x t, x p ; \theta)=& L_{t}(x t, x p ; \theta)+L_{p}(x t, x p ; \theta) \\ L_{t}(x t, x p ; \theta)=& \sum_{i=1}^{|V|}\left((1-\alpha)\left\|x t_{i}-x \hat{t}_{i}^{t}\right\|_{2}^{2}\right.\\ &\left.+\alpha\left\|x t_{i}-x t_{i}^{p}\right\|_{2}^{2}\right) \\ L_{p}(x t, x p ; \theta)=& \sum_{i=1}^{|V|}\left((1-\alpha)\left\|x p_{i}-x \hat{p}_{i}^{p}\right\|_{2}^{2}\right.\\ &\left.+\alpha\left\|x p_{i}-x \hat{p}_{i}^{t}\right\|_{2}^{2}\right) \end{aligned}$$

$MVC-DNE_{EB}$

该框架通过加入另一视图的信息来精炼这一视图所反映出来的节点性质。其在编码阶段学习两个视图之间的关联性。$MVC-DNE_{EB}$采用四种类型的编码器来表示两个视图的输入和跨视图编码。自视图编码旨在保存自己视图的特征，跨试图编码旨在整合与其他视图共享的潜在信息。

当获得四个编码器最后一层的输出 $yt_t^{K}, yt_p^{K}, yp_p^{K}, yp_t^{K}$ ， 视图$T$ 和 $P$ 的最后表示可以按下式计算得到：

$$\begin{array}{l} y t^{(K)}=y t_{t}^{(\tilde{K})} + z_{t}\left(y t_{p}^{(K)}, y t_{t}^{(\tilde{K})}\right) \odot y t_{p}^{(K)} \\ y p^{(K)}=y p_{p}^{(\tilde{K})}+z_{p}\left(y p_{t}^{(K)}, y p_{p}^{(\tilde{K})}\right) \odot y p_{t}^{(K)} \end{array}$$

其中$y t_{t}^{(\tilde{K})}$ 和 $y p_{p}^{(\tilde{K})}$ 代表$y p_{p}^{(K)}$ 和 $y p_{p}^{(K)}$经过drop-out操作后的输出。作者选择随机丢掉50%。$z_t(z_p)$ 是权重向量，所下：

$$z_{j}(x, C)=\sigma\left(W_{j}^{(X)} \cdot x+W_{j}^{(C)} \cdot C+b_{j}\right), j=t, p$$

损失函数如下：

$$\begin{aligned} L_{E B}(x t, x p ; \theta) &=L_{t}(x t, x p ; \theta)+L_{p}(x t, x p ; \theta) \\ L_{t}(x t, x p ; \theta) &=\sum_{i=1}^{|V|}\left(\left\|x t_{i}-x \hat{t}_{i}^{t}\right\|_{2}^{2}\right.\\ L_{p}(x t, x p ; \theta) &=\sum_{i=1}^{|V|}\left(\left\|x p_{i}-x \hat{p}_{i}^{p}\right\|_{2}^{2}\right. \end{aligned}$$